目前我們正處于數(shù)據(jù)爆發(fā)的時(shí)代,大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)、人工智能、物聯(lián)網(wǎng)等技術(shù)的發(fā)展,極大地促進(jìn)了數(shù)字化進(jìn)展。隨著更多創(chuàng)新應(yīng)用的出現(xiàn),數(shù)據(jù)價(jià)值被廣泛挖掘,數(shù)據(jù)重要性也得到了越來越多的認(rèn)可。
此前 IDC 發(fā)布的一份白皮書中預(yù)測(cè),全球數(shù)據(jù)圈將從 2018 年的 33ZB 增至 2025 年的 175ZB,實(shí)現(xiàn) 5 倍以上的增長。而所謂 " 數(shù)據(jù)圈 ",即每年被創(chuàng)建、采集或是復(fù)制的數(shù)據(jù)集合。
白皮書中還指出,娛樂數(shù)據(jù)和視頻監(jiān)控圖像長期以來 ( 并將繼續(xù) ) 是全球數(shù)據(jù)圈的重要推動(dòng)因素。物聯(lián)網(wǎng) ( IoT ) 設(shè)備信號(hào)、元數(shù)據(jù) ( 對(duì)分析、情境化和人工智能至關(guān)重要 ) 和生產(chǎn)力數(shù)據(jù),在當(dāng)今日益數(shù)字化的世界中增長速度更快。
不應(yīng)被隨意拋棄的冷數(shù)據(jù),存儲(chǔ)是難題
在另外一份統(tǒng)計(jì)中,IDC 指出在這些海量數(shù)據(jù)中,只有 10%~15% 的數(shù)據(jù)是經(jīng)常被訪問的 " 熱數(shù)據(jù) ",絕大部分?jǐn)?shù)據(jù)在產(chǎn)生之后使用頻率就會(huì)大幅降低,甚至完全不再被訪問,成為 " 冷數(shù)據(jù) "。
雖然訪問率極低,但人工智能技術(shù)的發(fā)展賦予了這些數(shù)據(jù)新的生命力,隨著其隱藏價(jià)值不斷被挖掘,并且大量創(chuàng)造商業(yè)價(jià)值,數(shù)據(jù)已成為企業(yè)的核心資產(chǎn)。因此,數(shù)據(jù)是無論如何都不能被輕易丟棄的,無論它們是冷是熱。
但由于冷數(shù)據(jù)量過于龐大,往往會(huì)帶來許多存儲(chǔ)方面的挑戰(zhàn)。
最直接擺在企業(yè) IT 部門面前的,就是成本問題。面對(duì)井噴式增長的數(shù)據(jù),如果只是簡(jiǎn)單地通過增加存儲(chǔ)節(jié)點(diǎn)來提高容量,勢(shì)必也將帶來成本的線性增加,這對(duì)很多企業(yè)來說是難以接受的。此外,設(shè)備占地空間和供電也將帶來更高的成本。
此外,冷數(shù)據(jù)的維護(hù)與遷移也成為了一大難題。雖然是冷數(shù)據(jù),但并不代表完全不必關(guān)注。IT 部門通常需要定期對(duì)數(shù)據(jù)進(jìn)行檢查,確保數(shù)據(jù)的完整性。而且由于存儲(chǔ)設(shè)備存在使用壽命,因此也需要對(duì)設(shè)備本身進(jìn)行檢查,及時(shí)排除硬件故障。在存儲(chǔ)設(shè)備過于老化,生命周期結(jié)束之后,也需要對(duì)冷數(shù)據(jù)進(jìn)行遷移,工作量是非常大的。
最后,在進(jìn)行冷數(shù)據(jù)存儲(chǔ)時(shí),也應(yīng)充分考慮安全性。保證數(shù)據(jù)不丟失比較常見的策略是進(jìn)行冗余備份,可一旦數(shù)據(jù)量過于龐大,問題就會(huì)接踵而至。包括成本成倍增加、需要維護(hù)的設(shè)備也相應(yīng)增加等等。第二,由于大量數(shù)據(jù)被保存在一起,數(shù)據(jù)泄漏造成的代價(jià)會(huì)更大。
值得一提的是,對(duì)于人工智能應(yīng)用而言,對(duì)于冷數(shù)據(jù)存儲(chǔ)也提出了新的要求。如快速訪問、查找數(shù)據(jù),這樣才能確保數(shù)據(jù)科學(xué)家團(tuán)隊(duì)的工作效率。
應(yīng)對(duì)冷數(shù)據(jù)存儲(chǔ)挑戰(zhàn)的常見策略
· 數(shù)據(jù)分層。根據(jù)業(yè)務(wù)實(shí)際需求,從數(shù)據(jù)訪問頻率以及數(shù)據(jù)使用價(jià)值等因素進(jìn)行考慮,制定數(shù)據(jù) " 溫度表 ",并以保證業(yè)務(wù)運(yùn)行為前提,制定合理的自動(dòng)分層策略,對(duì)數(shù)據(jù)的生命周期進(jìn)行分析,在數(shù)據(jù)降溫之后,自動(dòng)將其轉(zhuǎn)移到冷存儲(chǔ)層。
· 數(shù)據(jù)縮減。通過數(shù)據(jù)重刪、壓縮等手段,減少存儲(chǔ)系統(tǒng)中使用的存儲(chǔ)容量,提升存儲(chǔ)空間的利用率。在大部分存儲(chǔ)設(shè)備廠商的產(chǎn)品中,都提供了數(shù)據(jù)重刪功能。這種辦法不但讓出了更多的存儲(chǔ)空間,也能有效減少帶寬占用,更便于傳輸,備份更加輕松。
· 數(shù)據(jù)管理。通過智能化、自動(dòng)化的存儲(chǔ)管理系統(tǒng),能夠有效減輕運(yùn)維人員的工作負(fù)擔(dān),如數(shù)據(jù)檢查、數(shù)據(jù)分類、數(shù)據(jù)遷移、故障預(yù)警及排查等等,借助智能化的管理平臺(tái),可以實(shí)現(xiàn)高效運(yùn)維。在部分管理系統(tǒng)中,也提供了機(jī)房節(jié)能策略,通過讓設(shè)備適時(shí)休眠,幫助管理人員優(yōu)化能耗。
· 存儲(chǔ)介質(zhì)。目前冷數(shù)據(jù)存儲(chǔ)介質(zhì)大部分仍舊采用的是以機(jī)械硬盤為主的數(shù)據(jù)存儲(chǔ),而從安全性、成本、環(huán)保、長期保存等各種優(yōu)勢(shì)來說,光盤也逐漸成為冷數(shù)據(jù)存儲(chǔ)的重要選擇。市面上比較常見的冷數(shù)據(jù)存儲(chǔ)備份介質(zhì)一般為:光盤、硬盤。如:播德海藍(lán)光光盤存儲(chǔ)庫、播德海硬盤存儲(chǔ)庫等。
· 云存儲(chǔ)。云計(jì)算越來越被接受,采用云存儲(chǔ)能夠以更靈活、彈性的方式獲得足夠的存儲(chǔ)空間,同時(shí)按需付費(fèi)的方式對(duì)企業(yè)來說也是預(yù)算友好的。
最后
業(yè)務(wù)的發(fā)展,創(chuàng)新應(yīng)用的出現(xiàn),會(huì)帶來更加復(fù)雜的 IT 需求,使 IT 環(huán)境也會(huì)愈發(fā)多元復(fù)雜。對(duì)冷數(shù)據(jù)的存儲(chǔ)備份將越來越受到重視。這同樣也將對(duì)冷數(shù)據(jù)存儲(chǔ)不斷提出新的需求,因此在考慮冷數(shù)據(jù)存儲(chǔ)問題時(shí),有時(shí)也需要結(jié)合業(yè)務(wù)情況靈活變通。或者直接咨詢專業(yè)的服務(wù)公司,按需制定符合實(shí)際情況的冷數(shù)據(jù)存儲(chǔ)方案。詳詢:成都吉福匯,服務(wù)熱線:400 028 4366/028-85538251